文本VQA旨在回答需要了解图像中文本提示的问题。尽管现有的文本VQA方法取得了长足的进步，但它们的性能仍遭受了人类标记的问题解答（QA）对不足。但是，我们观察到，通常在现有数据集中没有完全利用场景文本 - 每个图像中只有一小部分文本参与了带注释的QA活动。这导致大量有用的信息浪费。为了解决这种缺陷，我们开发了一种新方法来通过明确利用每个图像的场景上下文中可用的现有文本来生成高质量和多样化的质量质量对。具体而言，我们建议，TAG是一种文本感知的视觉问题 - 答案生成的结构，该结构学会使用多模式变压器来生成有意义且准确的QA样品。该体系结构通过将生成的QA对与初始培训数据相结合，从而利用了未充满激光的场景文本信息，并增强了文本VQA模型的场景理解。对两个众所周知的Text-VQA基准（TextVQA和ST-VQA）的广泛实验结果表明，我们提议的标签有效地扩大了训练数据，有助于提高文本VQA性能而无需额外的标签努力。此外，我们的模型优于预先通过大规模数据进行训练的最先进方法。代码将公开可用。

我们提出了对形式文件的任意查询的价值检索，以减少处理表格的人力努力。与以前的方法不同，仅解决一个固定的字段项，我们的方法基于对表单的布局和语义的理解，预测任意查询的目标值。为了进一步提高模型性能，我们提出了一种简单的文档语言建模（SimpleDLM）策略，以提高对大型模型预培训的文档理解。实验结果表明，我们的方法显着优于我们的基线，而SimpleDLM进一步提高了我们的价值检索的性能约为17 \％F1分数与最先进的预训练方法相比。代码将公开可用。

在线隐私的背景下，许多方法提出了复杂的隐私和安全保留措施来保护敏感数据。在本文中，我们争辩说：没有存储任何敏感数据是最佳的安全形式。因此，我们提出了一个在线框架，即“读完后燃烧”，即，在处理后立即删除每个在线样本。同时，我们将标记的公共数据和未标记的私人数据之间的不可避免的分布转移作为无监督域适应的问题。具体而言，我们提出了一种新的算法，旨在瞄准在线适应设置的最基本的挑战 - 缺乏不同的源目标数据对。因此，我们设计了一个跨域引导方法，称为Crodobo，以增加域中的组合分集。此外，为了充分利用各种组合中的宝贵差异，我们采用了共同监督的多个学习者的培训策略。 Crodobo在四个域适应基准上实现了最先进的在线表演。

The rise in data has led to the need for dimension reduction techniques, especially in the area of non-scalar variables, including time series, natural language processing, and computer vision. In this paper, we specifically investigate dimension reduction for time series through functional data analysis. Current methods for dimension reduction in functional data are functional principal component analysis and functional autoencoders, which are limited to linear mappings or scalar representations for the time series, which is inefficient. In real data applications, the nature of the data is much more complex. We propose a non-linear function-on-function approach, which consists of a functional encoder and a functional decoder, that uses continuous hidden layers consisting of continuous neurons to learn the structure inherent in functional data, which addresses the aforementioned concerns in the existing approaches. Our approach gives a low dimension latent representation by reducing the number of functional features as well as the timepoints at which the functions are observed. The effectiveness of the proposed model is demonstrated through multiple simulations and real data examples.

We propose a novel deep neural network architecture to learn interpretable representation for medical image analysis. Our architecture generates a global attention for region of interest, and then learns bag of words style deep feature embeddings with local attention. The global, and local feature maps are combined using a contemporary transformer architecture for highly accurate Gallbladder Cancer (GBC) detection from Ultrasound (USG) images. Our experiments indicate that the detection accuracy of our model beats even human radiologists, and advocates its use as the second reader for GBC diagnosis. Bag of words embeddings allow our model to be probed for generating interpretable explanations for GBC detection consistent with the ones reported in medical literature. We show that the proposed model not only helps understand decisions of neural network models but also aids in discovery of new visual features relevant to the diagnosis of GBC. Source-code and model will be available at https://github.com/sbasu276/RadFormer

开发准确，灵活和数值有效的不确定性量化（UQ）方法是机器学习中的基本挑战之一。以前，已经提出了一种名为Disco Nets的UQ方法（Bouchacourt等，2016），该方法通过最大程度地减少训练数据中所谓的能量评分来训练神经网络。该方法在计算机视觉中的手姿势估计任务上表现出了出色的性能，但是尚不清楚该方法是否可以很好地对表格数据进行回归，以及它如何与较新的高级UQ方法（例如NGBOOST）竞争。在本文中，我们提出了改进的迪斯科网络神经结构，该建筑接受了更稳定和平稳的训练。我们将这种方法基于其他现实世界表格数据集，并确认它具有竞争力甚至优于标准的UQ基准。我们还为使用能量评分学习预测分布的有效性提供了新的基本证明。此外，我们指出的是，迪斯科的原始形式忽略了认知的不确定性，只捕获了不确定性。我们为这个问题提出了一个简单的解决方案。

批次归一化被广泛用于深度学习以使中间激活归一化。深层网络臭名昭著地增加了训练的复杂性，要​​求仔细的体重初始化，需要较低的学习率等。这些问题已通过批归一化解决（\ textbf {bn}）来解决，通过将激活的输入归功于零平均值和单位标准偏差。使培训过程的批归归量化部分显着加速了非常深网络的训练过程。一个新的研究领域正在进行研究\ textbf {bn}成功背后的确切理论解释。这些理论见解中的大多数试图通过将其对优化，体重量表不变性和正则化的影响来解释\ textbf {bn}的好处。尽管\ textbf {bn}在加速概括方面取得了不可否认的成功，但分析的差距将\ textbf {bn}与正则化参数的效果相关联。本文旨在通过\ textbf {bn}对正则化参数的数据依赖性自动调整，并具有分析证明。我们已将\ textbf {bn}提出为对非 - \ textbf {bn}权重的约束优化，通过该优化，我们通过它演示其数据统计信息依赖于正则化参数的自动调整。我们还为其在嘈杂的输入方案下的行为提供了分析证明，该方案揭示了正则化参数的信号与噪声调整。我们还通过MNIST数据集实验的经验结果证实了我们的主张。

已知现代深度神经网络模型将错误地将分布式（OOD）测试数据分类为具有很高信心的分数（ID）培训课程之一。这可能会对关键安全应用产生灾难性的后果。一种流行的缓解策略是训练单独的分类器，该分类器可以在测试时间检测此类OOD样本。在大多数实际设置中，在火车时间尚不清楚OOD的示例，因此，一个关键问题是：如何使用合成OOD样品来增加ID数据以训练这样的OOD检测器？在本文中，我们为称为CNC的OOD数据增强提出了一种新颖的复合腐败技术。 CNC的主要优点之一是，除了培训集外，它不需要任何固定数据。此外，与当前的最新技术（SOTA）技术不同，CNC不需要在测试时间进行反向传播或结合，从而使我们的方法在推断时更快。我们与过去4年中主要会议的20种方法进行了广泛的比较，表明，在OOD检测准确性和推理时间方面，使用基于CNC的数据增强训练的模型都胜过SOTA。我们包括详细的事后分析，以研究我们方法成功的原因，并确定CNC样本的较高相对熵和多样性是可能的原因。我们还通过对二维数据集进行零件分解分析提供理论见解，以揭示（视觉和定量），我们的方法导致ID类别周围的边界更紧密，从而更好地检测了OOD样品。源代码链接：https：//github.com/cnc-ood

不确定性量化是现实世界应用中机器学习的主要挑战之一。在强化学习中，一个代理人面对两种不确定性，称为认识论不确定性和态度不确定性。同时解开和评估这些不确定性，有机会提高代理商的最终表现，加速培训并促进部署后的质量保证。在这项工作中，我们为连续控制任务的不确定性感知强化学习算法扩展了深层确定性策略梯度算法（DDPG）。它利用了认识论的不确定性，以加快探索和不确定性来学习风险敏感的政策。我们进行数值实验，表明我们的DDPG变体在机器人控制和功率网络优化方面的基准任务中均优于香草DDPG而没有不确定性估计。

丰富的时间信息和视角中的变化使视频数据成为使用无监督的对比度学习（UCL）技术学习图像表示的有吸引力的选择。最先进的（SOTA）对比度学习技术将视频中的帧视为嵌入空间中的阳性，而其他视频的框架则被视为负面因素。我们观察到，与自然场景视频中对象的多种视图不同，超声（US）视频捕获了器官的不同2D片。因此，即使是相同的美国视频的暂时遥远框架之间几乎没有相似之处。在本文中，我们建议相反使用诸如硬底面的框架。我们主张在UCL框架中对硬度敏感的负挖掘课程进行挖掘，并在硬度敏感的负面挖掘课程中挖掘，以学习丰富的图像表示。我们部署框架以从美国视频中学习胆囊（GB）恶性肿瘤的表示。我们还构建了第一个大型US视频数据集，其中包含64个视频和15,800帧，用于学习GB表示。我们表明，经过我们框架训练的标准RESNET50骨干线可以提高使用SOTA UCL技术预测的模型的准确性，并在Imagenet上对ImageNet上的有监督的预处理模型提高了GB恶性检测任务的预期模型，提高了2-6％。我们进一步验证了方法在COVID-19病理的公开肺图像数据集上的普遍性，与SOTA相比，改善了1.5％。源代码，数据集和模型可在https://gbc-iitd.github.io/usucl上找到。